Principales Riesgos Asociados
| Tipo de Riesgo | Descripción |
|---|---|
| Errores formales | La IA puede generar información incorrecta o inventada, afectando decisiones administrativas, comunicaciones oficiales o análisis para políticas públicas. |
| Riesgos de privacidad | Si se ingresan datos personales, reservados o clasificados, existe riesgo de filtración, tratamiento indebido o uso no autorizado, vulnerando la Ley 1581 de 2012. |
| Sesgos y discriminación | Los modelos pueden reproducir sesgos históricos, afectando grupos vulnerables, especialmente crítico en entidades que atienden poblaciones específicas. |
| Dependencia tecnológica | Puede generarse dependencia excesiva de plataformas de terceros, afectando la soberanía tecnológica y continuidad del servicio. |
| Riesgos reputacionales | La generación de textos erróneos, inadecuados o discriminatorios puede comprometer la imagen institucional. |
| Automatización sin supervisión | La ejecución automática de decisiones sin intervención humana puede generar fallas graves en trámites y servicios públicos. |
Casos de Uso Referentes en el Distrito Capital
| Entidad / Dependencia | Caso de Uso Permitido | Nivel de Riesgo | Condiciones de Uso |
|---|---|---|---|
| Secretaría General | Redacción de borradores de documentos no sensibles | Bajo | Supervisión humana obligatoria |
| Sector Gobierno | Resúmenes preliminares de normativa o jurisprudencia | Bajo/Medio | Verificación jurídica posterior |
| DTI Distrital | Automatización de reportes técnicos o analíticos | Medio | Validación de datos por expertos |
| Secretaría de Salud | Guías informativas al ciudadano | Bajo | No ingresar datos clínicos ni reservados |
| Secretaría de Movilidad | Chatbots informativos de normas y servicios | Medio/Alto | Pruebas piloto + Comité de IA |
| Uaesp / Ambiente | Análisis preliminar de datos abiertos | Bajo | Solo usar datos públicos |
| Jurídica Distrital | Borradores de conceptos no vinculantes | Bajo | Revisión posterior por abogado responsable |
Obligaciones Mínimas del Proveedor
Protección de datos (Ley 1581)
- Prohibición contractual de almacenar prompts con datos personales
- Prohibición de entrenar modelos con información del Distrito
- Garantía de ubicación de datos en jurisdicciones compatibles (no exige nube nacional, pero sí cumplimiento estricto)
Seguridad
- Medidas razonables equivalentes a controles ISO 27001 (sin exigir certificación)
- Reporte de incidentes de seguridad en máximo 72 horas
Transparencia y trazabilidad
- Registro básico de versiones y actualizaciones
- Descripción clara de limitaciones y alcances de la herramienta
Condiciones contractuales
- Prohibición de reutilizar información institucional
- Cláusula de confidencialidad reforzada para datos sensibles
- Destrucción de datos una vez finalice el contrato
Matriz de Clasificación de Riesgos
La siguiente matriz permite clasificar rápidamente el nivel de riesgo del caso de uso:
Bajo
Características: Borradores, textos no sensibles, información pública
Requisitos: Supervisión humana
Medio
Características: Trámites administrativos, datos semisensibles
Requisitos: Validación técnica + supervisor
Alto
Características: Impacto sobre derechos ciudadanos, automatización
Requisitos: Piloto + Aprobación Comité IA
Muy Alto
Características: Datos personales sensibles, decisiones automáticas, impacto jurídico
Requisitos: Prohibido
Procedimiento de Respuesta ante Incidentes
Ingreso de información personal por error
- Cerrar el prompt
- Reportar inmediatamente al Delegado de Protección de Datos (DPO)
- Registrar el incidente en el sistema interno
- Evaluar si se requiere notificación al titular del dato
- El Comité de IA revisa el caso y emite recomendaciones
La IA genera contenido inapropiado
- No copiar ni distribuir el contenido
- Registrar captura interna para soporte
- Reportar al Comité de IA
- Ajustar configuraciones o bloquear temporalmente la herramienta
Se detecta error grave o alucinación
- No utilizar la salida generada
- Reportar al supervisor o líder del proceso
- Documentar el caso para mejorar el protocolo
Programa Obligatorio de Capacitación
Requisito de acceso: Para utilizar herramientas de IA generativa, los funcionarios deben completar un programa de formación obligatorio de 4 horas sobre uso seguro y responsable.
Módulos de capacitación
Módulo 1: Riesgos de IA generativa
Alucinaciones, sesgos y aspectos de privacidad
Módulo 2: Normativa aplicable
Ley 1581, Ley 2279 y políticas institucionales
Módulo 3: Matriz de usos permitidos y prohibidos
Desarrollo mediante casos prácticos
Módulo 4: Protocolo de respuesta ante incidentes
Procedimientos establecidos
Certificación
- Evaluación con puntaje mínimo del 80%
- Vigencia de 12 meses
- Re-certificación ante actualizaciones normativas significativas
Implementación escalonada
Fase 1
Comité de IA, Delegado de Protección de Datos (DPO) y responsables técnicos
Fase 2
Funcionarios de áreas estratégicas y misionales
Fase 3
Cobertura completa para todos los funcionarios usuarios
Control de cumplimiento
- Sistema de acceso verifica automáticamente la certificación vigente
- Sin certificación, el acceso queda suspendido
Responsabilidad
Oficial de IA Responsable, en coordinación con Gestión Humana.
Resumen Ejecutivo
Esta guía constituye un instrumento estructural que habilita una adopción responsable, progresiva y segura de las tecnologías de IA generativa dentro del Distrito Capital. Más que un documento normativo, es un mecanismo de gestión del cambio que articula la protección de derechos, la eficiencia administrativa y la innovación pública.
Su diseño flexible permite actualizar fácilmente los lineamientos conforme evolucione la regulación nacional y las capacidades institucionales, consolidando al Distrito como referente nacional en prácticas de IA responsable.